Các công cụ được tìm thấy ở phía Tây Kobe đã chứng minh đã có người sinh sống tại đây vào thời kỳ Jomon. Các địa lý tự nhiên của khu vực, đặc biệt là Hyōgo-ku, đã khiến cho nó trở thành trung tâm lịch sử của thành phố. Có một thời gian ngắn Kobe đã từng là thủ đô của Nhật Bản, từ tháng 6 năm 1180 đến tháng 11 năm 1180 vào thời kỳ Heian.

Thành phố được thành lập vào ngày 1 tháng 4 năm 1889, và chính thức công nhận là thành phố quốc gia vào ngày 1 tháng 9 năm 1956.

Trong thời kì Chiến tranh thế giới thứ hai, Kobe đã bị ném bom. Những trái bom từ máy bay B-29, vào ngày 17 tháng 3 năm 1945, giết chết 9000 người dân và đốt cháy cả thành phố.

Từ những áp lực liên tiếp từ phía công dân, ngày 18 tháng 3 năm 1975, Hội đồng thành phố Kobe đã phải ra nghị quyết cấm mang vũ khí hạt nhân vào cảng Kobe. Hiệu quả của nghị quyết đó là ngăn ngừa tàu chiến Hoa Kỳ chứa vũ khí hạt nhân vào cảng.

Ngày 17 tháng 1 năm 1995, một trận động đất 7,2 độ Richter, xảy ra vào 5:46 giờ sáng gần thành phố đã làm chết 6.433 người, làm 300.000 người thành vô gia cư, phá hủy phần lớn kho cảng và nhiều phần của thành phố. Đó là một thảm họa thiên nhiên tồi tệ nhất trong lịch sử hiện đại của thành phố. Cơn địa chấn đã phá hủy xa lộ Hanshin, nên còn được gọi là Cơn địa chấn dữ dội Hanshin.

Kobe đã là cảng biển bận rộn nhất Nhật Bản, nằm trong 10 cảng biển châu Á cho tới khi cơn địa chấn Hanshin xảy ra. Từ sau đó, cảng Nagoya đã trở thành cảng biển lớn nhất nước Nhật. Thứ hạng quốc tế của Kobe đã tụt xuống 29 (năm 2002). Nhưng cảng Kobe sau đó đã lại leo lên vị trí thứ 3 Nhật Bản.